Под этим термином понимают явление, при котором алгоритм обучения среди всех возможных моделей с нулевым эмпирическим риском выбирает определённые. Поясним на примере.
🟣 Есть линейная регрессия с квадратичной функцией потерь. Алгоритм может выбрать разные модели, которые минимизируют эту функцию потерь, но на практике он выбирает те, которые соответствуют определённым характеристикам. Например, при использовании градиентного спуска для обучения линейной регрессии, выбирается та модель, у которой коэффициенты меньше по абсолютной величине. Это происходит из-за особенностей метода оптимизации, который имеет склонность к нахождению определённых решений.
Также можно сказать, что градиентный спуск с фиксированным числом шагов «предпочитает» решения малого ранга. Это связано с тем, что данный метод имеет тенденцию находить более простые и гладкие решения, особенно в условиях ограниченного числа итераций.
Таким образом, implicit bias вносит свои коррективы в процесс выбора модели, даже если она теоретически не имеет эмпирического риска.
Под этим термином понимают явление, при котором алгоритм обучения среди всех возможных моделей с нулевым эмпирическим риском выбирает определённые. Поясним на примере.
🟣 Есть линейная регрессия с квадратичной функцией потерь. Алгоритм может выбрать разные модели, которые минимизируют эту функцию потерь, но на практике он выбирает те, которые соответствуют определённым характеристикам. Например, при использовании градиентного спуска для обучения линейной регрессии, выбирается та модель, у которой коэффициенты меньше по абсолютной величине. Это происходит из-за особенностей метода оптимизации, который имеет склонность к нахождению определённых решений.
Также можно сказать, что градиентный спуск с фиксированным числом шагов «предпочитает» решения малого ранга. Это связано с тем, что данный метод имеет тенденцию находить более простые и гладкие решения, особенно в условиях ограниченного числа итераций.
Таким образом, implicit bias вносит свои коррективы в процесс выбора модели, даже если она теоретически не имеет эмпирического риска.
#машинное_обучение
BY Библиотека собеса по Data Science | вопросы с собеседований
Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283
Start with a fresh view of investing strategy. The combination of risks and fads this quarter looks to be topping. That means the future is ready to move in.Likely, there will not be a wholesale shift. Company actions will aim to benefit from economic growth, inflationary pressures and a return of market-determined interest rates. In turn, all of that should drive the stock market and investment returns higher.
Telegram hopes to raise $1bn with a convertible bond private placement
The super secure UAE-based Telegram messenger service, developed by Russian-born software icon Pavel Durov, is looking to raise $1bn through a bond placement to a limited number of investors from Russia, Europe, Asia and the Middle East, the Kommersant daily reported citing unnamed sources on February 18, 2021.The issue reportedly comprises exchange bonds that could be converted into equity in the messaging service that is currently 100% owned by Durov and his brother Nikolai.Kommersant reports that the price of the conversion would be at a 10% discount to a potential IPO should it happen within five years.The minimum bond placement is said to be set at $50mn, but could be lowered to $10mn. Five-year bonds could carry an annual coupon of 7-8%.
Библиотека собеса по Data Science | вопросы с собеседований from us
